{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pathlib\n",
    "import json\n",
    "from pprint import pprint\n",
    "import random\n",
    "\n",
    "BASE_PATH = pathlib.Path(\"../input\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "False"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 设置 train 的比例\n",
    "def use_this_line(prob=0.05) -> bool:\n",
    "    rand = random.random()\n",
    "    if rand < prob:\n",
    "        return True\n",
    "    else:\n",
    "        return False\n",
    "\n",
    "\n",
    "use_this_line()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 百度百科数据集"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "item = {\n",
    "    \"sections\": [\n",
    "        {\n",
    "            \"content\": \"红色食品富含番茄红素、胡萝卜素、铁和部分氨基酸，是优质蛋白质、碳水化合物、膳食纤维、B族维生素和多种无机盐的重要来源，可以弥补粳米、白面中的营养缺失。经常食用红色食品，可以进一步提高对主食中营养的利用率，山植等食品还有治疗癌症的功效。被称为“红色生力军。”营养学家认为，红色蔬果最典型的优势在于它们都是富含天然铁质的食物，例如我们常吃的樱桃、大枣等都是贫血患者的天然良药，也适合女性经期失血后的滋补。所以，红色蔬果，女人尽可放心多吃。红色食品中还含有致病微生物的“杀手”——巨噬细胞，可以有效地抵御感冒病毒等微生物，增强人体抵抗感冒的能力。\\xa0\\xa0\"\n",
    "            \"红色食品\\n\"\n",
    "            \"在所有的果蔬当中，名声最好的莫过于苹果。西方有“One apple a day，keeps the \"\n",
    "            \"doctors \"\n",
    "            \"away．”的说法，因为苹果性情温和，含有各种维生素和微量元素，是所有的水果中最接近完美的一个。\\n\"\n",
    "            \"还有一种说法：红色食品是相对于绿色食品而言的，指对人体有害的食品，如各种有毒有害、腐败变质、添加非食用物质的食品。红色食品危害人体健康乃至生命安全，对人体健康亮起了红灯，应当大力查处。\",\n",
    "            \"title\": \"简介\",\n",
    "        },\n",
    "        {\n",
    "            \"content\": \"这些食品中富含β-胡萝卜素和维生素A，对孩子上皮组织和呼吸道粘膜有很强的保护作用，可提高预防感冒的能力。\\n\"\n",
    "            \"假如你生来体质较弱，易受感冒病毒的困扰，或者已经被感冒缠上了，红色食品会助你一臂之力，天生具有促进人体健康卫士之一的巨噬细胞活力的功能，巨噬细胞乃是感冒病毒等致病微生物的“杀手”，其活力增强了，感冒病毒自然难以在人体内立足，更谈不上生长繁殖了。至于颜色较辣椒稍浅一些的胡萝卜，所含的胡萝卜素可在体内转化为维生素A，发挥护卫人体上皮组织如呼吸道黏膜的作用，常食之同样可以增强人体抗御感冒的能力。除了红辣椒、胡萝卜外，苋菜、洋葱、红枣、番茄、红薯、山楂、苹果、草莓、老南瓜、红米等亦具此功。\",\n",
    "            \"title\": \"作用\",\n",
    "        },\n",
    "        {\n",
    "            \"content\": \"冬令时节，气候寒冷，万物收藏，人的机体生理功能处于降低、抑制、收缩状态，易患感冒，吃红色食品可扶正祛邪，增强免疫力，预防得病。[1]\\n\"\n",
    "            \"蔬菜中的红萝卜、红辣椒、番茄、红薯、红枣、红苋菜等红色食品中，富含β-胡萝卜素，不但能清除人体氧自由基，而且参与合成维生素A，对人体上皮组织和 \"\n",
    "            \"呼吸道黏膜有很强的保护作用。推荐以下几个食疗方———\\n\"\n",
    "            \"★番茄猪肝汤\\n\"\n",
    "            \"用料：猪肝250克，虾仁25克，蘑菇40克，鸡蛋1只，番茄150克，黄酒、葱段、姜片、胡椒粉、精盐适量。\\n\"\n",
    "            \"制法：将猪肝切去筋膜洗净，切丁后加上酒、姜汁、蛋液、盐、胡椒粉，搅打成浆。用旺火蒸10—15分钟至结膏。清水加虾仁、黄酒沸煮5分钟后倒入蘑菇、番茄丁和肝膏，再煮沸，调味即可。\\n\"\n",
    "            \"功用：养肝明目，增强免疫力。用于防感冒、防治夜盲症及免疫力低下者，以及甲亢。\\n\"\n",
    "            \"方解：猪肝有养肝明目、增强免疫力；蘑菇补益脾胃，益阴养肝，降压，降脂，润燥化痰，增加白细胞；虾仁、番茄均有增强免疫力的食品，番茄可增强营养，减少感冒的发生。\\n\"\n",
    "            \"★红萝卜炖牛肉\\n\"\n",
    "            \"用料：牛肉250克、红萝卜250克。\\n\"\n",
    "            \"制法：牛肉切成小块，加黄酒、姜、葱等配料，再加入红萝卜块，炖熟，即可食用。\\n\"\n",
    "            \"功用：益气养胃、强健筋骨、增强免疫力。适用于防感冒及免疫力低、虚损消瘦、腰膝酸软者。\\n\"\n",
    "            \"方解：牛肉补脾胃、益气血、强筋骨，红萝卜增强免疫力，防感冒，健脾，补血，助消化。\\n\"\n",
    "            \"★蜂蜜红萝卜汁\\n\"\n",
    "            \"用红萝卜汁与蜂蜜各半制成混合汁剂，每天饮用3次，每次1汤匙。可防治伤风、感冒和咽喉炎。胡萝卜能提供丰富的维生素A，具有促进机体正常生长与繁殖、维护上皮组织、防止感冒及保持视力正常。蜂蜜能补中，润燥，止痛，解毒，清热。\",\n",
    "            \"title\": \"红色食品与感冒\",\n",
    "        },\n",
    "        {\n",
    "            \"content\": \"红色食品是指外表呈红色的果蔬和“红肉”类。红色果蔬包括红辣椒、西红柿、红枣、山楂、草莓、苹果等，红色果蔬含有糖和多种维生素，尤其富含维生素C。“红肉”指牛肉、猪肉、羊肉及其制品。\\n\"\n",
    "            \"红色果蔬中的辣椒具有温中散寒，开胃除湿之功效，辣椒中的辣椒素能刺激唾液和胃肠道消化液的分泌，还能刺激心血管系统，使心跳加快，血液循环加速，因此在寒冷环境有祛风除湿的作用。风寒型感冒病人食用辣椒汤能帮助发汗，有利于感冒的康复，但是胃肠疾病、结核病人则不适合食用。西红柿-在国外享有“金苹果”之称，具有较高的价值。由于西红柿含有94%左右的水分，生吃能防治中暑，止渴生津，凉血解毒的作用，但食西红柿时尽量少放盐，为了避免维生素的破坏，做汤时最好等水开了再下西红柿，而且忌食未成熟的西红柿胃，胃肠虚寒者即慢性腹泻和消化不良者应忌食之。红枣在国外被称为“天然维生素丸”，具有很好的补血功效，能安神和补益脾胃，但胃肠积滞和患有牙齿疾病者应忌食。食用红枣时不宜与鱼同食，同食易引起腹部胀痛。\\n\"\n",
    "            \"红色食品中的肉类即所谓“红肉”，主要含蛋白质和脂肪及其它无机盐等，因此具有丰富的营养价值。不过“红肉”致癌，世界癌症研究基金会建议食用“红肉”时，每日每人撮入量应少于80克，这是因为“红肉”在烧烤、烙制、煎炸时，其表面产生多种杂环胺——致癌物。\",\n",
    "            \"title\": \"红色食品与红肉\",\n",
    "        },\n",
    "        {\n",
    "            \"content\": \"红色不但能让人联想到爱情和激情，还是一种与心脏、大脑和泌尿系统的健康有关的颜色。红色的水果和蔬菜对我们的身体健康大有裨益。 \"\n",
    "            \"红色的果蔬主要含有丰富的植物化学成分，包括抗细胞因子、抗氧化剂和番茄红素(一种产生红色的色素)。这些成分能够预防癌症，特别是肺癌、前列腺癌和消化道癌。它们还可以延缓衰老，并且有利于防止黄斑变性。黄斑变性是导致65岁以上老年人失明的主要诱因。\\n\"\n",
    "            \"1、草莓含有80%的水分、丰富的维生素C、少量膳食纤维和钾。由于含糖量很低，因此经常出现在减肥食谱中。大量抗坏血酸、凝集素和果胶使它成为降低血液中胆固醇含量的理想食物。传统医学中草莓可以作为润肤剂、净化剂和利胆剂，还具有镇咳和抗风湿的作用。人们还认为它有抗贫血和滋补的功效，可以促进机体生长。草莓叶子的浸剂还可以用于肠道消炎。\\n\"\n",
    "            \"2、每天生食6至1 \"\n",
    "            \"2颗樱桃对痛风和尿酸过多有显著疗效。樱桃的果汁有利于治疗腹泻和结肠炎，所含的抗氧化剂具有保健作用。樱桃含有的主要养分和膳食纤维较少，但是维生素B的含量不低。在矿物质中，钾和铁的含量较高。\\n\"\n",
    "            \"3、西瓜是水分含量最高的水果，高达其总重量的95%，因此可以促进肾脏更好地发挥功能，将废物和有毒物质排出体外。\\n\"\n",
    "            \"4、覆盆子含有丰富的维生素E、多种植物营养素和不可溶性纤维。除了具有利尿和通便作用，它还可以用于治疗风湿。\\n\"\n",
    "            \"5、红苹果富含果胶、糖分和维生素C。此外，由于它是温和的通便剂，所以还具有特殊的医疗效用，可以用于治疗肠道功能紊乱。因此，自然医学认为红苹果可以抗腹泻、贫血和哮喘。它还能够缓解神经系统紧张，促进睡眠。每天晚上吃一个红苹果有助于迅速入睡。它还对希望保持体形的人有用，因为几乎不含脂肪，每100克只有不到58卡路里的热量。据法国图卢兹大学的研究结果显示，每天吃一个大苹果可以在8个星期内使胆固醇水平降低。\\n\"\n",
    "            \"6、红辣椒中抗氧化剂、硒和维生素C的含量很高，甚至高于柑桔和柠檬等酸味水果。红辣椒所含的膳食纤维能够控制血液中的胆固醇和葡萄糖，还可以改善肠道功能。\\n\"\n",
    "            \"7、红萝卜有益于治疗呼吸系统疾病，例如咽炎和喉炎，还可以减轻喉咙嘶哑。在柠檬的辅助下，它还可以用来防治哮喘和鼻窦炎。萝卜酒具有清除肾结石和治疗肝脏和胆囊疾患的作用。红萝卜含有钾和少量铁，不含脂肪，每100克只含有15卡路里的热量。它非常适于制作凉拌沙拉，配上柠檬和盐就是一道佳肴。此外，吃红萝卜还可以控制前列腺癌变。\\n\"\n",
    "            \"8、番茄含有番茄红素和大量抗氧化剂，能够降低患上慢性疾病的危险，尤其是前列腺癌和心血管疾病。番茄具有提神、助消化和抗炎的作用。用它制作的沙拉、酱汁和菜泥可以帮助患有胃炎和胃溃疡的人更好地消化不易消化吸收的食物。番茄的热量很低，含有维生素C。它富含的番茄红素可以防止罹患前列腺癌。如果使用食用油烹调番茄，还可以增强这种功效。\\n\",\n",
    "            \"title\": \"好处\",\n",
    "        },\n",
    "    ],\n",
    "    \"summary\": \"红色食品是指食品为红色、橙红色或棕红色的食品。科学家认为，多吃些红色食品可预防感冒。红色食品有红柿椒、西红柿、胡萝卜、红心白薯、红果（山楂）、红苹果、草莓、红枣、老南瓜、红米、柿子等。 \"\n",
    "    \"有治疗缺铁性贫血和缓解疲劳的作用，对乳腺癌等肿瘤疾病有防治作用，给人以兴奋感，有增加食欲，光洁皮肤，增强表皮细胞再生和防止皮肤衰老，预防感冒等作用。\",\n",
    "    \"tags\": [\"饮食\", \"食品\", \"食疗\", \"科学\", \"健康\", \"食品类型\"],\n",
    "    \"title\": \"红色食品\",\n",
    "    \"url\": \"http://baike.baidu.com/view/0010.htm\",\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"x.txt\", \"w\") as f:\n",
    "    f.write(item[\"sections\"][0][\"content\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'红色食品富含番茄红素、胡萝卜素、铁和部分氨基酸，是优质蛋白质、碳水化合物、膳食纤维、B族维生素和多种无机盐的重要来源，可以弥补粳米、白面中的营养缺失。经常食用红色食品，可以进一步提高对主食中营养的利用率，山植等食品还有治疗癌症的功效。被称为“红色生力军。”营养学家认为，红色蔬果最典型的优势在于它们都是富含天然铁质的食物，例如我们常吃的樱桃、大枣等都是贫血患者的天然良药，也适合女性经期失血后的滋补。所以，红色蔬果，女人尽可放心多吃。红色食品中还含有致病微生物的“杀手”——巨噬细胞，可以有效地抵御感冒病毒等微生物，增强人体抵抗感冒的能力。\\xa0\\xa0红色食品\\n在所有的果蔬当中，名声最好的莫过于苹果。西方有“One apple a day，keeps the doctors away．”的说法，因为苹果性情温和，含有各种维生素和微量元素，是所有的水果中最接近完美的一个。\\n还有一种说法：红色食品是相对于绿色食品而言的，指对人体有害的食品，如各种有毒有害、腐败变质、添加非食用物质的食品。红色食品危害人体健康乃至生命安全，对人体健康亮起了红灯，应当大力查处。'"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "item[\"sections\"][0][\"content\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 天工数据集"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'\\n天工数据集是 JSONL 格式，每一行都是一条完整的数据，\\n'"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 天工数据集\n",
    "\"\"\"\n",
    "天工数据集是 JSONL 格式，每一行都是一条完整的数据，\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'text': '杭州11月20日电(郭其钰 张益聪)“在浙江高质量发展共同富裕示范区路上，科技可谓是共同富裕的助推器。”11月19日，在浙江杭州举办的2021侨界青年助力共同富裕主题论坛上，西湖大学国际合作部副主任吕敏如是建言。 在当前百年未有之大变局下，侨界“海燕”报恩归巢，广大侨青怀着赤子之心，在各自领域逐梦共同富裕。 吕敏以西湖大学为例介绍，西湖大学立足于理学、工学、生命科学三大领域，致力于为国家社会培养科研人才，希望科研院所可以发挥高效应用的引领作用，助力应用科学赋能共同富裕。 “我们力求在基础研究的空缺课题上做出突破，‘不以论文论英雄’而是看研究是否解决实际问题，或是开创性领域。”吕敏说。 科技赋能医疗，打开了共同富裕的民生路。对此浙江大学医学院附属第二医院网络医学中心主任葛芳民建议打造科技赋能医联体，形成乡镇卫生院—县城医院—浙大二院—国际一流医院四级远程医疗网络。通过远程会诊、转诊，远程医疗教育等多种方式，引导医疗卫生资源下沉，以数智赋能惠及更多群众。 “接下来浙大二院将运用大数据互联互通，引进元宇宙、虚拟现实等技术，打造多维度、大纵深的医联体系统，进一步为老百姓方便医疗打通道路。”葛芳民介绍。 共同富裕不仅要城市繁荣，更要乡村振兴。 “乡村振兴需要多方支持，其中最离不开农民，需要留住村里年轻人，吸引村外新农人，持续培育村里人。”杭州市留联会会长潘菁菁作为“美丽乡村”建设人，自己承担风险，买下老房改造民宿，同时发掘乡村生态价值，利用荒废的梯田水稻，形成“在民宿住，吃民宿旁”的产业生态。 杭州市临安区於潜镇自由村书记朱峰海外归来更是放弃了家族产业，下到基层当“村官”。当年初来乍到的青涩朱峰，如今已成了村民爱戴的“好书记”。他在村里发展规划里弄小巷，整合土地资源，改善农村环境，还带动周围农村发展，打通了共同富裕的物质精神之路。 同是留学归来的葛雯如今仍是“农民”，她回乡继承“家业”，科学养殖“云彩土鸡”，打破农业的传统销售渠道，广泛拓展销路，建立起桃林养鸡的产业生态。 “下一步我们计划将手动和半自动化设备全面更新，将传统农业变成全智能化的数字化产业。”葛雯说。 杭州市政协副主席、杭州市侨联主席王立华表示，侨界青年具有人才荟萃、思维活跃、融通中外的独特优势，他们主动参与“创业中华”“侨亮乡村、助力共同富裕”“侨连五洲·杭海协作”等侨联品牌活动，在共同富裕路上彰显青春力量、体现时代担当。(完)'}"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "{\n",
    "    \"text\": \"杭州11月20日电(郭其钰 张益聪)“在浙江高质量发展共同富裕示范区路上，科技可谓是共同富裕的助推器。”11月19日，在浙江杭州举办的2021侨界青年助力共同富裕主题论坛上，西湖大学国际合作部副主任吕敏如是建言。 在当前百年未有之大变局下，侨界“海燕”报恩归巢，广大侨青怀着赤子之心，在各自领域逐梦共同富裕。 吕敏以西湖大学为例介绍，西湖大学立足于理学、工学、生命科学三大领域，致力于为国家社会培养科研人才，希望科研院所可以发挥高效应用的引领作用，助力应用科学赋能共同富裕。 “我们力求在基础研究的空缺课题上做出突破，‘不以论文论英雄’而是看研究是否解决实际问题，或是开创性领域。”吕敏说。 科技赋能医疗，打开了共同富裕的民生路。对此浙江大学医学院附属第二医院网络医学中心主任葛芳民建议打造科技赋能医联体，形成乡镇卫生院—县城医院—浙大二院—国际一流医院四级远程医疗网络。通过远程会诊、转诊，远程医疗教育等多种方式，引导医疗卫生资源下沉，以数智赋能惠及更多群众。 “接下来浙大二院将运用大数据互联互通，引进元宇宙、虚拟现实等技术，打造多维度、大纵深的医联体系统，进一步为老百姓方便医疗打通道路。”葛芳民介绍。 共同富裕不仅要城市繁荣，更要乡村振兴。 “乡村振兴需要多方支持，其中最离不开农民，需要留住村里年轻人，吸引村外新农人，持续培育村里人。”杭州市留联会会长潘菁菁作为“美丽乡村”建设人，自己承担风险，买下老房改造民宿，同时发掘乡村生态价值，利用荒废的梯田水稻，形成“在民宿住，吃民宿旁”的产业生态。 杭州市临安区於潜镇自由村书记朱峰海外归来更是放弃了家族产业，下到基层当“村官”。当年初来乍到的青涩朱峰，如今已成了村民爱戴的“好书记”。他在村里发展规划里弄小巷，整合土地资源，改善农村环境，还带动周围农村发展，打通了共同富裕的物质精神之路。 同是留学归来的葛雯如今仍是“农民”，她回乡继承“家业”，科学养殖“云彩土鸡”，打破农业的传统销售渠道，广泛拓展销路，建立起桃林养鸡的产业生态。 “下一步我们计划将手动和半自动化设备全面更新，将传统农业变成全智能化的数字化产业。”葛雯说。 杭州市政协副主席、杭州市侨联主席王立华表示，侨界青年具有人才荟萃、思维活跃、融通中外的独特优势，他们主动参与“创业中华”“侨亮乡村、助力共同富裕”“侨连五洲·杭海协作”等侨联品牌活动，在共同富裕路上彰显青春力量、体现时代担当。(完)\"\n",
    "}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 维基百科"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\n",
    "这是一个 json 数据，所以一定需要自己 load \n",
    "\"\"\"\n",
    "wiki_path = (\n",
    "    BASE_PATH / \"wikipedia-cn-20230720-filtered/wikipedia-cn-20230720-filtered.json\"\n",
    ")\n",
    "with wiki_path.open(\"r\") as f:\n",
    "    wiki_data = json.load(f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "wiki_item1 = wiki_data[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'completion': '昭通机场（ZPZT）是位于中国云南昭通的民用机场，始建于1935年，1960年3月开通往返航班“昆明－昭通”，原来属军民合用机场。1986年机场停止使用。1991年11月扩建，于1994年2月恢复通航。是西南地区「文明机场」，通航城市昆明。 机场占地1957亩，飞行区等级为4C，有一条跑道，长2720米，宽48米，可供波音737及以下机型起降。机坪面积6600平方米，停机位2个，航站楼面积1900平方米。位于城东6公里处，民航路与金鹰大道交叉处。\\n航点\\n客服电话\\n昭通机场客服电话：0870-2830004',\n",
       " 'source': 'wikipedia.zh2307'}"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "wiki_item1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'completion': '黄大仙文化公园（Wong Tai Sin Culture Park）是香港一个公园，位于九龙黄大仙摩士公园，门牌编号为香港黄大仙区竹园大成街8号，为一个公园中的公园，入口设于东头村道及大成街。公园原址为摩士二号公园的苗圃，后来由黄大仙区民政事务总署拨款1,370万港元，改建为一个以中国文化为主题的公园，于2008年10月落成启用。\\n设施\\n* 无极广场：铺砌《易经》、八卦及太极符号\\n* 诗墙：刻有书法诗篇\\n* 百年古井：原为石鼓垄村的水井',\n",
       " 'source': 'wikipedia.zh2307'}"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "wiki_data[2]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 悟道数据\n",
    "\"\"\"\n",
    "每一个 json 都是一个 list of object, 如下\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'id': 1,\n",
       "  'uniqueKey': 'dc63bf184c0b488c1fefc9a11f6ab813',\n",
       "  'titleUkey': '80e2cf09c4da7c506a43499bc93302b8',\n",
       "  'dataType': '博客',\n",
       "  'title': '同学们都很高兴能在la的最后一天买到给家人和朋友的称心礼物',\n",
       "  'content': '在洛杉矶的夕阳中,我们满载而归,大家今天回去和host family都会有farewell晚餐和依依惜别的温情夜晚,据新东方国际游学(yo x e.xdf.cn)相关负责人介绍。再见！ 洛杉矶,再见,信任同学们未来必定会再来到这里游览或者求学的！ 今天是我们在la的最后一天。上午,三个班的同学在一起进行了一场充斥乐趣的英语比赛,三位英语老师和三个班的同学都士气昂扬,踊跃参加。每个同学都有令人印象深入的表示。 在上午十点半,fls给每位同学颁发了学习证书,同学们拿到证书十分兴奋,但又一些伤感,时光过得是这么快,大家才刚成为好朋友,就要分别了。而后同学们在学校的部署下一起吃了farewell午餐,食品很丰盛,不少男同学吃了好多少个鸡腿。 下战书,咱们去了ontario mill mall,那里有良多名品折扣店,环境也不错,同窗们都很愉快能在la的最后一天买到给家人跟友人的满意礼物。'}]"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "[\n",
    "    {\n",
    "        \"id\": 1,\n",
    "        \"uniqueKey\": \"dc63bf184c0b488c1fefc9a11f6ab813\",\n",
    "        \"titleUkey\": \"80e2cf09c4da7c506a43499bc93302b8\",\n",
    "        \"dataType\": \"博客\",\n",
    "        \"title\": \"同学们都很高兴能在la的最后一天买到给家人和朋友的称心礼物\",\n",
    "        \"content\": \"在洛杉矶的夕阳中,我们满载而归,大家今天回去和host family都会有farewell晚餐和依依惜别的温情夜晚,据新东方国际游学(yo x e.xdf.cn)相关负责人介绍。再见！ 洛杉矶,再见,信任同学们未来必定会再来到这里游览或者求学的！ 今天是我们在la的最后一天。上午,三个班的同学在一起进行了一场充斥乐趣的英语比赛,三位英语老师和三个班的同学都士气昂扬,踊跃参加。每个同学都有令人印象深入的表示。 在上午十点半,fls给每位同学颁发了学习证书,同学们拿到证书十分兴奋,但又一些伤感,时光过得是这么快,大家才刚成为好朋友,就要分别了。而后同学们在学校的部署下一起吃了farewell午餐,食品很丰盛,不少男同学吃了好多少个鸡腿。 下战书,咱们去了ontario mill mall,那里有良多名品折扣店,环境也不错,同窗们都很愉快能在la的最后一天买到给家人跟友人的满意礼物。\",\n",
    "    },\n",
    "]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 其他"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "s = \"本站体育1月2日报道：\\n1月1日晚，CBA官方宣布浙江广厦和山西汾酒更换外援。\\n1月1日晚，CBA官方宣告浙江广厦和山西汾酒替换外援。\\n昨天晚上，CBA公司宣布同意浙江广厦更换外援申请，曾经效力NBL贵州森航队的韦伯斯特注册成功，半兽人替身普拉姆利被换下。浙江广厦将组“双小外”配置。\\n替换外援，科里-韦伯斯特替换普拉姆利，广厦队改用双小外！\\n科里-韦伯斯特，1988年11月29日出生于新西兰，新西兰篮球运动员、新西兰国家队成员、2019年篮球世界杯预选赛成员，身高1.88米，司职得分后卫/控球后卫，效力于NBL贵州森航男篮\\n韦伯斯特今年31岁，身高1米88，曾效力于NBL贵州森航男篮。职业生涯共夺得3届新西兰联赛总冠军，2次荣膺新西兰联赛MVP，并曾获得2017年新西兰联赛得分王。本赛季，他为破坏者队出战11场，场均出场30.8分钟，得到19.5分3.8篮板4.2助攻0.7抢断，投篮命中率48%，三分命中率39.8%，罚球命中率90%。\\n韦伯斯特本年31岁，身高1米88，曾效力于NBL贵州森航男篮。职业生涯共夺得3届新西兰联赛总冠军，2次荣膺新西兰联赛MVP，并曾取得2017年新西兰联赛得分王。本赛季，他为破坏者队出战11场，场均进场30.8分钟，得到19.5分3.8篮板4.2助攻0.7抢断，投篮命中率48%，三分命中率39.8%，罚球命中率90%。\\n普拉姆利本赛季为浙江广厦出战了7场，场均11.3分7.9个篮板，是球队内线外援中表现最差的。\\n经审核，同意山西汾酒股份队更换外籍球员，新注册并获得参赛资格外籍球员为贾马尔•富兰克林，被替换外籍球员为卡梅伦•佩恩（球衣号码22号，位置后卫。\\n经审阅，赞同山西汾酒股份队替换外籍球员，新注册并取得参赛资历外籍球员为贾马尔•富兰克林，被替换外籍球员为卡梅伦•佩恩（球衣号码22号，方位后卫。\\n佩恩代表山西队打了两场比赛，球队分别输给了辽宁和北控，场上表现不能令球队满意，球队不得已换回富兰克林。\\n佩恩代表山西队打了两场竞赛，球队别离输给了辽宁和北控，场上体现不能令球队满足，球队不得已换回富兰克林。\\n经审核，同意浙江广厦控股队更换外籍球员，新注册并获得参赛资格外籍球员为科里·韦伯斯特，被替换外籍球员为迈尔斯·普拉姆利。\\n而广厦队由于球队另一位外援威尔斯也是外线球员，显然浙江广厦在经历了一系列外援更换动作之后，最终决定在常规赛的下半程采用“双小外”阵容。\\n而广厦队因为球队另一位外援威尔斯也是外线球员，明显浙江广厦在阅历了一系列外援替换动作之后，终究决定在常规赛的下半程选用“双小外”阵型。\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "本站体育1月2日报道：\n",
      "1月1日晚，CBA官方宣布浙江广厦和山西汾酒更换外援。\n",
      "1月1日晚，CBA官方宣告浙江广厦和山西汾酒替换外援。\n",
      "昨天晚上，CBA公司宣布同意浙江广厦更换外援申请，曾经效力NBL贵州森航队的韦伯斯特注册成功，半兽人替身普拉姆利被换下。浙江广厦将组“双小外”配置。\n",
      "替换外援，科里-韦伯斯特替换普拉姆利，广厦队改用双小外！\n",
      "科里-韦伯斯特，1988年11月29日出生于新西兰，新西兰篮球运动员、新西兰国家队成员、2019年篮球世界杯预选赛成员，身高1.88米，司职得分后卫/控球后卫，效力于NBL贵州森航男篮\n",
      "韦伯斯特今年31岁，身高1米88，曾效力于NBL贵州森航男篮。职业生涯共夺得3届新西兰联赛总冠军，2次荣膺新西兰联赛MVP，并曾获得2017年新西兰联赛得分王。本赛季，他为破坏者队出战11场，场均出场30.8分钟，得到19.5分3.8篮板4.2助攻0.7抢断，投篮命中率48%，三分命中率39.8%，罚球命中率90%。\n",
      "韦伯斯特本年31岁，身高1米88，曾效力于NBL贵州森航男篮。职业生涯共夺得3届新西兰联赛总冠军，2次荣膺新西兰联赛MVP，并曾取得2017年新西兰联赛得分王。本赛季，他为破坏者队出战11场，场均进场30.8分钟，得到19.5分3.8篮板4.2助攻0.7抢断，投篮命中率48%，三分命中率39.8%，罚球命中率90%。\n",
      "普拉姆利本赛季为浙江广厦出战了7场，场均11.3分7.9个篮板，是球队内线外援中表现最差的。\n",
      "经审核，同意山西汾酒股份队更换外籍球员，新注册并获得参赛资格外籍球员为贾马尔•富兰克林，被替换外籍球员为卡梅伦•佩恩（球衣号码22号，位置后卫。\n",
      "经审阅，赞同山西汾酒股份队替换外籍球员，新注册并取得参赛资历外籍球员为贾马尔•富兰克林，被替换外籍球员为卡梅伦•佩恩（球衣号码22号，方位后卫。\n",
      "佩恩代表山西队打了两场比赛，球队分别输给了辽宁和北控，场上表现不能令球队满意，球队不得已换回富兰克林。\n",
      "佩恩代表山西队打了两场竞赛，球队别离输给了辽宁和北控，场上体现不能令球队满足，球队不得已换回富兰克林。\n",
      "经审核，同意浙江广厦控股队更换外籍球员，新注册并获得参赛资格外籍球员为科里·韦伯斯特，被替换外籍球员为迈尔斯·普拉姆利。\n",
      "而广厦队由于球队另一位外援威尔斯也是外线球员，显然浙江广厦在经历了一系列外援更换动作之后，最终决定在常规赛的下半程采用“双小外”阵容。\n",
      "而广厦队因为球队另一位外援威尔斯也是外线球员，明显浙江广厦在阅历了一系列外援替换动作之后，终究决定在常规赛的下半程选用“双小外”阵型。\n"
     ]
    }
   ],
   "source": [
    "print(s)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "llms-101",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.14"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
